Projet 2021: Décomposition en valeurs singulières et Tables de mortalité

Échéance: 2021-12-09

1 À rendre (livrables)

• 2021-12-09: un fichier nom1_nom2.Rmd qui peut être tricoté (knitted) sous rstudio.
  • Votre fichier doit être tricoté sans erreurs et le résultat doit être un document html qui peut être visualisé dans un navigateur moderne.
  • Le fichier doit contenir le code utilisé pour construire les graphiques et les résumés numériques.
  • Le fichier doit contenir le texte de vos commentaires (en anglais ou en français).
  • Les commentaires doivent être rédigés avec soin et précision et doivent être concis.
  • Le fichier nom1_nom2.Rmd sera téléchargé sur Moodle.
• 2021-12-14: une présentation orale de 20 minutes sur des éléments extraits de votre premier livrable nom1_nom2.Rmd.
  • La présentation consiste en un exposé de 12 minutes et 8 minutes de questions et réponses.
  • La présentation est soutenue par des diapositives
  • Les diapositives générées à partir de Rmarkdown doivent être privilégiées. Vous pouvez choisir le format que vous préférez (binb, xaringan, slidy, ioslides, …)

---

2 Objectifs

Ce carnet de notes a pour but de

• travailler avec des tables (data.frames, tibbles, data.tables, …) en utilisant dplyr ou tout autre langage d’interrogation (tel que fourni par exemple par data.table)
• visualiser des données démographiques comme celles fournies par [Human Mortality Database organization] (https://www.mortality.org).
• l’utilisation de l’ACP et d’autres méthodes matricielles pour explorer des ensembles de données multivariées (les tables de mortalité peuvent être considérées comme des ensembles de données multivariées).

3 Données des tables de mortalité

Les tables de données de vie ont été téléchargées à partir de https://www.mortality.org. Elles ont été élaborées pour vous et peuvent être téléchargées à partir de l’URL ‘https://www.dropbox.com/s/tnci38tqchxwic6/full_life_table.Rds?dl=0’, enregistrées dans votre répertoire de travail.

Si vous installez et chargez le paquet https://cran.r-project.org/web/packages/demography/index.html, vous trouverez également des tables de mortalité.

Nous étudions des tables de mortalité décrivant des pays d’Europe occidentale (France, Grande-Bretagne -en fait Angleterre et Pays de Galles-, Italie, Pays-Bas, Espagne et Suède) et les États-Unis.

Nous chargeons les tables de mortalité annuelles pour les femmes, les hommes et la population totale (both) des différents pays.

Téléchargez les données depuis https://www.dropbox.com/s/tnci38tqchxwic6/full_life_table.Rds?dl=0 dans votre répertoire de travail (working directory). Enregistrez-les sous le nom de full_life_table.Rds. Chargez-le en mémoire en utilisant readr::read_rds().

fpath <- 'full_life_table.Rds'  # once you have downloaded the file

if (! file.exists(fpath)){
  cat(glue('{fpath} should be in working directory!'))
} else {
  life_table <- readr::read_rds(fpath)
  glimpse(life_table)
}

Rows: 379,170 Columns: 12 $ Year 1816, 1816, 1816, 1816, 1816, 1816, 1816, 1816, 1816, 1816, 1816, 1816,~ $ Age 0, 1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 11, 12, 13, 14, 15, 16, 17, 18, 19, 2~ $ mx 0.20534, 0.04669, 0.03412, 0.02304, 0.01604, 0.01373, 0.01186, 0.01016,~ $ qx 0.17972, 0.04562, 0.03355, 0.02277, 0.01591, 0.01364, 0.01179, 0.01011,~ $ ax 0.31, 0.50, 0.50, 0.50, 0.50, 0.50, 0.50, 0.50, 0.50, 0.50, 0.50, 0.50,~ $ lx 100000, 82028, 78285, 75659, 73936, 72760, 71768, 70921, 70204, 69601, ~ $ dx 17972, 3742, 2626, 1723, 1176, 992, 846, 717, 604, 509, 423, 362, 325, ~ $ Lx 87524, 80156, 76972, 74798, 73348, 72264, 71344, 70563, 69902, 69346, 6~ $ Tx 4009912, 3922388, 3842232, 3765260, 3690462, 3617114, 3544850, 3473506,~ $ ex 40.10, 47.82, 49.08, 49.77, 49.91, 49.71, 49.39, 48.98, 48.47, 47.89, 4~ $ Country “France”, “France”, “France”, “France”, “France”, “France”, “France”, “~ $ Gender ”Both“,”Both“,”Both“,”Both“,”Both“,”Both“,”Both“,”Both“,”Both",~

Vérifiez sur http://www.mortality.org la signification des différentes colonnes:

Le document Tables de mortalité françaises pour les XIXe et XXe siècles et projections pour le XXIe siècle contient des informations détaillées sur la construction des Tables de mortalité pour la France. On peut en général distinguer deux types de Tables de mortalité : les Tables du moment qui contiennent pour chaque année civile, les risques de mortalité à différents âges pour cette même année ; et les Tables de génération qui contiennent pour une année de naissance donnée, les risques de mortalité auxquels un individu né au cours de cette année a été exposé.

Les tables de mortalité étudiées dans ce travail sont les Tables du moment. D’après le document de Vallin et Meslé, l’élaboration des tables de mortalité a nécessité des choix et un travail substantiel d’édition.

Voir (entre autres)

• p. 19 Les variations brutales des quotients de mortalité à certains âges pour une année civile donnée
• L’estimation des quotients de mortalité au grand âge.

Voir aussi les [schémas de Lexis] (https://en.wikipedia.org/wiki/Lexis_diagram).

---

À partir de maintenant, la table universelle est nommée life_table.

Les tables de mortalité sur lesquelles vous allez travailler sont appelées tableaux de mortalité de l’année.

Nom de la colonne	Type de colonne	Signification
Année	nombre entier
Age	entier	Âge \(x\)
mx	double	Taux de mortalité central à l’âge \(x\) : \(m_x\)
qx	double	Probabilité de mourir entre l’âge de \(x\) et l’âge de \(x+1\) \(q_x = \frac{m_x}{1+ m_x/2}\)
lx	entier	Nombre de personnes encore en vie à l’âge de \(x\) dans une cohorte fictive de \(100000\)
dx	integer	Nombre de personnes décédées entre l’âge \(x\) et \(x+1\) durant l’année dans la cohorte fictive
Lx	entier	Nombre d’années-personnes vécues entre l’âge de \(x\) et \(x+1\), \(L_x = \ell_x - d_x\times a_x\) dans la cohorte fictive
Tx	entier
ex	double	Espérance de vie résiduelle à l’âge \(x\)
Pays	facteur	Pays-Bas/…
Sexe	facteur	Féminin / Masculin

Voir Preston et al. pour les détails et les explications.

4 L’Ouest (de l’Europe) en 1948

• Tracez les quotients de mortalité de tous les pays à tous les âges pour l’année 1948.

• Commentaire

On observe, pour l’année 1948, que le quotient de mortalité commence à un niveau élevé puis diminue jusqu’à l’âge de l’adolescence avant d’entreprendre une croissance monotone. Le graphe suit la même tendance quel que soit le pays. Cependant, il diffère selon le sexe. On peut observer un quotient de mortalité légèrement plus élevé chez les hommes.

• Tracer les rapports entre les quotients de mortalité des pays européens et les quotients de mortalité de tous les pays à tous les âges pour l’année 1948. les quotients de mortalité des USA en 1948.

• Commentaire

Sur ce plotly on peut constater que durant l’année 1948, l’Espagne et l’Italie possédaient un taux de mortalité bien supérieur à celui des États-Unis et du reste de l’Europe. Ce rapport s’équilibre à l’âge de 40. On voit également que la courbe des femmes est supérieure à celle des hommes. Les autres pays quant à eux sont comparables au taux des USA.

5 Evolution des taux de mortalité depuis la seconde guerre mondiale

• Tracer les quotients de mortalité (colonne qx) pour les les deux sexes en fonction de l’âge pour les années 1946, 1956, ... jusqu’à 2016 . Utilisez l’esthétique pour distinguer les années.

• Facette par Gender et Country.

Warning: Transformation introduced infinite values in continuous y-axis

• Écrivez une fonction ratio_mortality_rates dont la signature est function(df, reference_year=1946, target_years=seq(1946, 2016, 10)) qui prend comme entrée

  • un tableau de données avec le même schéma que life_table,
  • une année de référence ref_year et
  • une séquence d’années target_years.

et qui renvoie un tableau de données avec le schéma :

Nom de la colonne	Type de colonne
Année	entier
Age	entier
qx	double
qx.ref_year	double
Pays	facteur
Sexe	Facteur

où (Pays, Année, Age, Sexe) sert de clé primaire, qx désigne le quotient de mortalité à Age pour Année et Genre dans Pays tandis que qx_ref_year indique le quotient de mortalité à Age pour l’argument reference_year. dans le pays pour le sexe.

ratio_mortality_rates <- function(df,reference_year, target_year){
  life_table_target_y <- df[df$Year %in% target_year,]
  life_table_1 <- select(life_table_target_y,Year,Age,qx,ex,Country,Gender)
  names(life_table_1) <- c('Year','Age','qx','qx.ref_year','Country','Gender')
  life_table_ref_year <-df[(df$Year==reference_year),]
  life_table_ref_year <- select(life_table_ref_year,Year,Age,qx,Country,Gender)
  for(i in 1: nrow(life_table_1)){
    if(life_table_1[i,1]==reference_year){
      life_table_1[i,4] <- life_table_1[i,3]
    }
    else {
        life_table_2 <- life_table_ref_year[(life_table_ref_year$Age==as.numeric(life_table_1[i,2])) & (life_table_ref_year$Country==as.character(life_table_1[i,5])) & life_table_ref_year$Gender==as.character(life_table_1[i,6]),]
      life_table_1[i,4] <- life_table_2[1,3]
    }
  }
  return (life_table_1)
}

life_table_1<- ratio_mortality_rates(life_table,1946,seq(1946,2016,10))
head(life_table_1)

• Dessinez des graphiques affichant le rapport \(q_{x,t}/q_{x, 1946}\) pour les âges \(x \in 1, \ldots, 90\) et l’année \(t\) pour \(t \in 1946, \ldots, 2016\). et l’année \(t\) pour \(t \in 1946, \ldots, 2016\) où \(q_{x,t}\) est le quotient de mortalité à l’âge \(x\) pendant l’année \(t\).

  1. Traiter les deux sexes et les deux pays Espagne, Italie, France, Angleterre et Pays de Galles, USA, Suède, Pays-Bas.
  2. Une graphique correctement facetté est suffisant (facet_grid(), facet_wrap()).

Warning: Transformation introduced infinite values in continuous y-axis

• Commentaire

Au fil du temps, on peut voir que la courbe du ratio des quotients est de plus en plus basse par rapport aux années précédentes. On peut conclure que le quotient de mortalité diminue avec les années, ce qui pourrait s’expliquer par l’amélioration des conditions de vie. De plus, on peut remarquer que les ratios des quotients de mortalité des hommes sont légèrement au-dessus des femmes.

6 Tendances

• Tracer les quotients de mortalité aux âges 0, 1, 5$ en fonction du temps. Facette par sexe et par pays

Warning: Transformation introduced infinite values in continuous y-axis

• Commentaire

Ce facette témoigne de l’évolution de la mortalité infantile au cours du temps pour les âges 0,1 et 5. Comme vu précédemment, on remarque une diminution du taux de mortalité au fil des années.De plus, la courbe des hommes est presque identique à celle des femmes.

• Tracez les quotients de mortalité aux âges de \(15, 20, 40, 60\) en fonction du temps. Facette par Gender et Country.

• Commentaire

Intéressons-nous à présent aux âges 15-20-40-60. On peut observer, une fois de plus, la diminution du taux de mortalité au travers des années. Cependant, les 2 guerres mondiales entraînent des pics sur les courbes (1914-1918, 1939-1945), en particulier chez les hommes de 15-20 ans.

7 Réarrangement

• A partir du tableau de données life_table, calculez un autre tableau de données appelé life_table_pivot, avec les clés primaires Country, Gender et Year, avec une colonne pour chaque Age de 0 à 110.

Vous pouvez utiliser les fonctions pivot_wider, pivot_longer du package tidyr::.

Le schéma du résultat devrait avoir l’aspect suivant:

Nom de colonne	Type
Country	factor
Gender	factor
Year	integer
0	double
1	double
2	double
3	double
\(\vdots\)	\(\vdots\)

• À partir de life_table_pivot calculer l’espérance de vie à la naissance pour chaque clé Country, Gender and Year.

8 Espérance de vie

• Écrire une fonction qui prend en entrée un vecteur de quotients de mortalité, ainsi qu’un âge, et renvoie l’espérance de vie résiduelle correspondant au vecteur et à l’âge donné.

esp_res <- function(v_qx,age){
  
  sum = 0
  for ( i in age : 109){
    pro = 1
    for (j in age : i){
      m = v_qx[j]/(1-(v_qx[j]/2))
      pro = pro * (1-m)
    }
    sum = sum + pro
  }
  return(as.numeric(sum))
}

• Écrivez une fonction qui prend comme entrée un tableau de données avec le même schéma que life_table et retourne un tableau de données avec les colonnes Country, Gender, Year, Age définissant une clé primaire et une colonne res_lex contenant l’espérance de vie résiduelle correspondant à la clé primaire.

tab_esp_res <- function(df){
  df %>%
    select(Country,Gender,Year,Age,qx) %>%
    pivot_wider(names_from = Age, values_from = qx) -> df
  for(i in 1:nrow(df)){
    v_qx <- df[i,4:113]
    v_qx <- as.numeric(v_qx)
    
    for(j in 4:113){
      df[i,j] = esp_res(v_qx,j-3)
    }
  }
  df = pivot_longer(df,cols = -c(Country,Gender,Year), names_to = "Age", values_to ="Res_lex")
  return(df)
}

life_table_res_lex <- tab_esp_res(life_table)
head(life_table_res_lex)

• Afin de calculer les espérances de vie résiduelles, vous pouvez envisager d’utiliser les fonctions “fenêtre” window qui permettent de définir des fenêtres appropriées. Le paquet dplyr n’offre pas une très riche interface (API) pour les fonctions “fenêtre” (window functions). Le paquet dbplyr le fait.

• Tracez l’espérance de vie résiduelle en fonction de Year aux âges de \(60\) et \(65\). Créer une

Warning: Ignoring unknown aesthetics: Group

9 PCA et SVD sur les tables de log-mortalité

• Choisissez un pays, un sexe, une plage d’années 1948:2010. Extrayez les lignes correspondantes de life_table_pivot. Prendre les logarithmes des quaotients de mortalité et effectuez une analyse en composantes principales. Évaluez les résultats de l’ACP avec et sans centrage et normalisation des colonnes.

Warning: ggrepel: 107 unlabeled data points (too many overlaps). Consider increasing max.overlaps

Warning: ggrepel: 13 unlabeled data points (too many overlaps). Consider increasing max.overlaps
Warning: ggrepel: 104 unlabeled data points (too many overlaps). Consider increasing max.overlaps

Warning: ggrepel: 7 unlabeled data points (too many overlaps). Consider increasing max.overlaps
Warning: ggrepel: 103 unlabeled data points (too many overlaps). Consider increasing max.overlaps

Warning: ggrepel: 63 unlabeled data points (too many overlaps). Consider increasing max.overlaps
Warning: ggrepel: 108 unlabeled data points (too many overlaps). Consider increasing max.overlaps

Warning: ggrepel: 36 unlabeled data points (too many overlaps). Consider increasing max.overlaps
Warning: ggrepel: 102 unlabeled data points (too many overlaps). Consider increasing max.overlaps

• Commentez le(s) graphe(s) d’affichage.

On peut constater que dans tous les screeplots, la première composante principale explique plus de 93 % de la variance. Pour l’ACP centrée et réduite, il faut garder les 2 premières composantes principales, car elles représentent 96.2 % de la variance expliquée. Ensuite, pour le cas d’une ACP centrée et non réduite, il faut également garder les 2 premières composantes principales, car elles représentent 96.5 % de la variance expliquée.Enfin, pour les ACP non centrée et réduite et non centrée et non réduite, on ne garde que la première composante, car elle représente dans les deux cas 99.9 % de la variance expliquée. Autrement dit, 99.9 % de l’information (variance) est contenue dans les données de la première composante principale.

• Commenter le(s) cercle(s) de corrélation

Sur les deux premiers cercles de corrélation (centré réduit, centré non réduit) on remarque que les variables 0,1,…,109, qui correspondent aux âges sont corrélées négativement à la première composante principale et sont corrélées entre elles. De plus, on constate qu’elles sont très proches du cercle de corrélations donc elles sont bien représentées. Concernant les 2 derniers cercles de corrélations(non centré et réduit, non centré et non réduit), les flèches sont de longueur supérieure à 1, ce qui est normal, car les données ne sont pas centrées. De plus, on remarque sur ces deux cercles que les âges sont corrélés sur les deux composantes principales.

• Commentez le(s) biplot(s)

Tout d’abord, les individus correspondent dans notre étude aux années et les variables 0,1,…,109 correspondent aux âges. Un individu qui se trouve du même côté d’une variable donnée a une valeur élevée pour cette variable et un individu qui se trouve dans le côté opposé d’une variable donnée a une faible valeur pour cette variable.

Dans les 2 premiers biplots, on constate que pratiquement la moitié des individus se trouvent du même côté que ceux des variables. Tandis que dans le dernier biplot, tous les individus se trouvent du coté opposé à ceux des variables. Puis, sur le biplot de l’ACP non centrée et réduite, on ne voit plus les individus.

• Choisissez la combinaison de centrage et de normalisation qui vous semble la plus pertinente. Motivez votre choix

Les bâtons sont proportionnels aux carrés des valeurs singulières normalisées par la somme des carrés des valeurs singulières. Si l’on ne centre pas nos données, nos données seront trop réduites, il faut alors les centrer. En effet, pour la première composante principale, les bâtons rose et vert représentent pratiquement 100 % et plus de 85 % de la part de l’inertie totale expliquée par la première composante. On peut alors projeter nos données sur une dimension et on perdra très peu d’information. Cependant, en faisant cela, nous réduisons beaucoup trop nos données.

On constate que si l’on centre et que l’on normalise ou non nos données, on récupère pratiquement 75 % d’informations sur la première composante principale et on récupère également des informations sur la seconde composante principale.

Il faut donc obligatoirement centrer nos données, quant à la normalisation, elle reste optionnelle.

• Effectuez une ACP sur l’ensemble des pays et des sexes avec la combinaison de centrage et de mise à l’échelle choisie.

• Combinez les screeplots pour différents pays (pour chaque sexe). Commentaire

10 Modèle Lee-Carter pour la mortalité aux États-Unis

Au cours du siècle dernier, aux États-Unis et en Europe occidentale, les quotients de mortalité à tous les âges ont présenté une tendance générale à la baisse. Cette tendance à la baisse n’a pas toujours été homogène entre les âges.

Le modèle de Lee-Carter a été conçu pour modéliser et prévoir l’évolution du quotient log-mortalité. l’évolution des quotients de mortalité logarithmique pour les États-Unis au cours du XXe siècle.

Soit \(A_{x,t}\) le logarithme du quotient de mortalité à l’âge \(x\) pendant l’année \(t\in T\). pour une population donnée (définie par le sexe et le pays).

Le modèle de Lee-Carter suppose que les quotients de mortalité logarithmiques observés sont échantillonnés selon le modèle suivant \[ A_{x,t} \sim_{\text{indépendant}} a_x + b_x \kappa_t + \epsilon_{x,t} \] où \((a_x)_x, (b_x)_x\) et \((\kappa_t)_t\) sont des vecteurs inconnus qui satisfont \[ a_x = \frac{1}{|T|}\sum_{t \in T} A_{x,t}\qquad \sum_{t\in T} \kappa_t = 0 \qquad \sum_{x} b_x^2 =1 \] et \(\epsilon_{x,t}\) sont des variables aléatoires i.i.d. gaussiennes.

10.1 Données US

• Ajustez un modèle Lee-Carter sur les données américaines (pour les données masculines et féminines) en vous entraînant sur les années 1933 jusqu’à 1995.
• Comparez l’ajustement fourni par le modèle de Lee-Carter avec l’ajustement fourni par un modèle SVD tronqué de rang \(2\).
• Comparez les vecteurs avec \((a_x)_x, (b_x)_x\) et \((\kappa_t)_t\) avec les vecteurs singuliers appropriés.
• Utilisez le modèle de Lee-Carter pour prédire les quotients de mortalité pour les années 2000$ à 2015$.

• Tracez les prédictions et les observations pour les années 2000, 2005, 2010 et 2015.

10.2 Application du modèle de Lee-Carter à un pays européen

• Ajustez un modèle de Lee-Carter à un pays européen.
• Commentaire
• Comparez avec la SVD tronquée de rang 2.
• Utiliser le modèle de Lee-Carter pour prédire les quotients de mortalité pour les années \(2000\) à \(2015\).

• Commentaire

Le coefficient de mortalité de la france semble en moyenne aligné avec le coefficient de mortalité obtenu par le regréssement linéaire. En effet, ce dernier est un prolongement du coefficient de mortalité 1933 à 1995.

Tracez les prédictions et les observations pour les années \(2000, 2005, 2010, 2015\).

10.3 Prédictions de l’espérance de vie à différents âges

• Utiliser l’approximation de Lee-Carter pour estimer les espérances de vie résiduelles.
• Comparer avec les espérances de vie résiduelles observées

11 Références

Tables de mortalité et démographie

• Human Mortality Database
• Tables de mortalité françaises, Jacques Vallin et France Meslé
• Modeling and Forecasting U.S. Mortality, R.D.Lee and L.R. Carter, JASA 1992
• Les dimensions de la mortalité, S. Ledermann, Jean Breas, Population, 1959
• Samuel H. Preston, Patrick Heuveline and Michel Guillot, Demography: Measuring and Modeling Population Processes, Oxford: Blackwell Publishers, 2001, xv + 291 pp.

Graphiques et rapports

• Interactive web-based data visualization with R, plotly, and shiny
• R for Data Science
• Layered graphics
• Plotly

Tidyverse

• tidyselect
• dbplyr
• data.table
• DT

PCA, SVD

• FactoMineR
• ade4
• FactoInvestigate
• PCA and Tidyverse
• tidyprcomp

Démographie

• R package demography